RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
通过基于排名的奖励构造释放生成式奖励模型在LLM强化学习中的潜力
🧭 生成式奖励模型RL训练 · 排名奖励构造 ★ 深度解读
School of Computer Science and Engineering, Northeastern University, Shenyang · NiuTrans Research, Shenyang · Independent Researcher, Beijing · CAS Key Laboratory of Behavioral Science, Institute of Psychology, CAS · Kunming University of Science and Technology
将生成式奖励模型从标量评分转为利用其排名能力构造奖励信号，解决RL中比较优势与评分范式不匹配的问题
📌 工作参考价值（4 点）
- 生成式评估器用于策略优化：在电商/推荐场景中，若使用LLM作为评估器（如评价推荐理由、对比候选素材），可直接沿用RRC思路：不要求LLM打绝对分，而是让LLM对同一查询的多个候选进行两两比较，将胜出次数作为奖励，再用GRPO等RL算法优化生成策略。这比强求标量分数更稳定且能利用LLM的推理能力。
- 锚点引导减少推理开销：RRC-AGR用少量固定参考响应（锚点）替代全量两两比较，将查询复杂度从O(m²)降至O(m×n)。在线上系统延迟敏感时，可预生成锚点集（如历史高赞推荐理由），新样本只需与少量锚点比较即可获得有效奖励信号，极大降低推理成本。
- 投票增强鲁棒性：对于生成式评估，单次判断可能随机，多数投票（voting@k）能显著提升奖励质量。在涉及文案生成、排序合理性判断等主观任务时，通过多轮采样聚合偏好可降低噪声，且可控制推理预算。
- 避免评估与策略耦合：锚点由固定参考策略生成，而非当前演化中的策略，能保持比较基准稳定。在迭代优化生成式推荐模型时，建议使用冻结的基线模型生成参考样本作为锚点，防止奖励漂移。